Như trên đã nói, ngoài giá trị kết hợp giữa hai lối kiến trúc Đông – Tây, ngôi nhà cổ còn nổi tiếng bởi liên quan với một cuộc tình không biên giới của nữ nhà văn Marguerite Duras và người tình đầu tiên của bà là ông Huỳnh Thủy Lê (chủ nhân ngôi nhà). Câu chuyện tình buồn ấy, về sau đã được bà kể lại trong tác phẩm của mình (L’Amant, tiếng Việt là Người tình). Năm 1984, cuốn tiểu thuyết được xuất bản, gây tiếng vang lớn, được dịch ra 43 thứ tiếng trên thế giới và đoạt được giải thưởng Goncourt (giải thưởng văn học danh giá nhất của Pháp). Năm 1986, cuốn tiểu thuyết đã được đạo diễn Jean-Jacques Annaud dựng thành phim cùng tên.

Phim Người tình được dàn dựng khá công phu với diễn viên chính là Jane March, Lương Gia Huy.... Trong phim có nhiều cảnh quay tại Việt Nam như: dòng sông Tiền thơ mộng, bến phà Mỹ Thuận náo nhiệt, thành phố Sài Gòn hoa lệ..., và đặc biệt là ngôi nhà cổ Huỳnh Thủy Lê được lấy làm bối cảnh chính trong phim [4].